Can Scale Save Us From Plasticity Loss in Large Language Models?
规模能拯救大语言模型的塑性损失吗？
🧭 LLM持续学习的塑性损失标度律
Zyphra
发现LLM塑性损失遵循可预测的亚线性标度律，增大模型仅能延缓而无法根除。
📌 工作参考价值（4 点）
- 搜索推荐系统若需持续增量训练（在线学习），应监控模型在新任务/分布上的快速适应能力，警惕塑性损失导致更新失效。
- 单纯增大模型规模（如从1B升到10B）只能把塑性损失出现时间向后推，无法彻底避免；对于长期运行的业务模型，需考虑周期性重置部分参数、采用弹性权重巩固或正则化策略。
- 即使数据分布平稳（如电商流量自然漂移），长时间训练也会累积塑性损失；定期用固定预算在新数据上微调并评估性能下降，可作为预警指标。
- 借鉴标度律思路，可在模型升级时预估塑性损失风险的延迟收益，辅助资源投入决策。